<!DOCTYPE html>
<html>
<head>
  <meta charset="utf-8">
  

  
  <title>分库分表实战及中间件 | 个人博客</title>
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1">
  <meta name="description" content="categories: 分库分表—                                                                分库分表实战及中间件 背景描述  刚开始我们的系统只用了单机数据库  随着用户的不断增多，考虑到系统的高可用和越来越多的用户请求，我们开始使用数据库主从架构  当用户量级和业务进一步提升后，写请求越来越多，这时我们开始使用了分库分表">
<meta property="og:type" content="article">
<meta property="og:title" content="分库分表实战及中间件">
<meta property="og:url" content="http://codercheng.cn/2020/12/25/%E5%88%86%E5%BA%93%E5%88%86%E8%A1%A8%E5%AE%9E%E6%88%98%E5%8F%8A%E4%B8%AD%E9%97%B4%E4%BB%B6/index.html">
<meta property="og:site_name" content="个人博客">
<meta property="og:description" content="categories: 分库分表—                                                                分库分表实战及中间件 背景描述  刚开始我们的系统只用了单机数据库  随着用户的不断增多，考虑到系统的高可用和越来越多的用户请求，我们开始使用数据库主从架构  当用户量级和业务进一步提升后，写请求越来越多，这时我们开始使用了分库分表">
<meta property="og:locale" content="zh_CN">
<meta property="og:image" content="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/165606-796440.png">
<meta property="og:image" content="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/135653-911806.png">
<meta property="og:image" content="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/135826-798413.png">
<meta property="og:image" content="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/140249-432409.png">
<meta property="article:published_time" content="2020-12-25T06:50:34.760Z">
<meta property="article:modified_time" content="2021-03-03T07:29:21.908Z">
<meta property="article:author" content="CoderCheng">
<meta name="twitter:card" content="summary">
<meta name="twitter:image" content="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/165606-796440.png">
  
    <link rel="alternate" href="/atom.xml" title="个人博客" type="application/atom+xml">
  
  
    <link rel="icon" href="/favicon.png">
  
  
    <link href="//fonts.lug.ustc.edu.cn/css?family=Source+Code+Pro" rel="stylesheet" type="text/css">
  
  
<link rel="stylesheet" href="/css/style.css">

<meta name="generator" content="Hexo 4.2.1"></head>

<body>
  <div id="container">
    <div id="wrap">
      <header id="header">
  <div id="banner"></div>
  <div id="header-outer" class="outer">
    <div id="header-title" class="inner">
      <h1 id="logo-wrap">
        <a href="/" id="logo">个人博客</a>
      </h1>
      
    </div>
    <div id="header-inner" class="inner">
      <nav id="main-nav">
        <a id="main-nav-toggle" class="nav-icon"></a>
        
          <a class="main-nav-link" href="/">Home</a>
        
          <a class="main-nav-link" href="/archives">Archives</a>
        
      </nav>
      <nav id="sub-nav">
        
          <a id="nav-rss-link" class="nav-icon" href="/atom.xml" title="RSS Feed"></a>
        
        <a id="nav-search-btn" class="nav-icon" title="搜索"></a>
      </nav>
      <div id="search-form-wrap">
        <form action="//google.com/search" method="get" accept-charset="UTF-8" class="search-form"><input type="search" name="q" class="search-form-input" placeholder="Search"><button type="submit" class="search-form-submit">&#xF002;</button><input type="hidden" name="sitesearch" value="http://codercheng.cn"></form>
      </div>
    </div>
  </div>
</header>
      <div class="outer">
        <section id="main"><article id="post-分库分表实战及中间件" class="article article-type-post" itemscope itemprop="blogPost">
  <div class="article-meta">
    <a href="/2020/12/25/%E5%88%86%E5%BA%93%E5%88%86%E8%A1%A8%E5%AE%9E%E6%88%98%E5%8F%8A%E4%B8%AD%E9%97%B4%E4%BB%B6/" class="article-date">
  <time datetime="2020-12-25T06:50:34.760Z" itemprop="datePublished">2020-12-25</time>
</a>
    
  </div>
  <div class="article-inner">
    
    
      <header class="article-header">
        
  
    <h1 class="article-title" itemprop="name">
      分库分表实战及中间件
    </h1>
  

      </header>
    
    <div class="article-entry" itemprop="articleBody">
      
        <hr>
<p>categories: 分库分表<br>—                                                                <strong>分库分表实战及中间件</strong></p>
<p><strong>背景描述</strong></p>
<ul>
<li><p>刚开始我们的系统只用了<strong>单机数据库</strong></p>
</li>
<li><p>随着用户的不断增多，考虑到系统的高可用和越来越多的用户请求，我们开始使用数据库<strong>主从架构</strong></p>
</li>
<li><p>当用户量级和业务进一步提升后，写请求越来越多，这时我们开始使用了<strong>分库分表</strong></p>
</li>
</ul>
<p><strong>遇到的问题</strong></p>
<ul>
<li>用户请求量太大</li>
</ul>
<p>​         单服务器TPS、内存、IO都是有上限的，需要将请求打散分布到多个服务器</p>
<ul>
<li>单库数据量太大</li>
</ul>
<p>​       单个数据库处理能力有限；单库所在服务器的磁盘空间有限；单库上的操作IO有瓶颈</p>
<ul>
<li>单表数据量太大</li>
</ul>
<p>​       查询、插入、更新操作都会变慢，在加字段、加索引、机器迁移都会产生高负载，影响服务</p>
<p><strong>如何解决</strong></p>
<ul>
<li><p>垂直拆分</p>
<p> 垂直分库</p>
</li>
</ul>
<p><img src="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/165606-796440.png" alt="image-20201225135530458"></p>
<p>​         垂直分表</p>
<p>表中字段太多且包含大字段的时候，在查询时对数据库的IO、内存会受到影响，同时更新数据时，产生的binlog文件会很大，MySQL在主从同步时也会有延迟的风险</p>
<p><img src="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/135653-911806.png" alt="image-20201225135651977"></p>
<ul>
<li>水平拆分</li>
</ul>
<p>​      水平分表</p>
<p>​    针对数据量巨大的单张表（比如订单表），按照规则把一张表的数据切分到多张表里面去。但是这些表还是在同一个库中，所以库级别的数据库操作还是有IO瓶颈。</p>
<p><img src="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/135826-798413.png" alt="image-20201225135825913"></p>
<p>​    水平分库</p>
<p>将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。 水平分库分表能够有效的缓解单机和单库的性能瓶颈和压力，突破IO、连接数、硬件资源等的瓶颈</p>
<p><img src="https://gitee.com/adc123321/blog_img/raw/master/image/202012/25/140249-432409.png" alt="image-20201225140248714"></p>
<ul>
<li>水平分库规则</li>
</ul>
<p>不跨库、不跨表，保证同一类的数据都在同一个服务器上面。</p>
<p>数据在切分之前，需要考虑如何高效的进行数据获取，如果每次查询都要跨越多个节点，就需要谨慎使用。</p>
<ul>
<li>水平分表规则</li>
</ul>
<p>​           RANGE</p>
<p>​               时间：按照年、月、日去切分。例如order_2020、order_202005、order_20200501</p>
<p>​               地域：按照省或市去切分。例如order_beijing、order_shanghai、order_chengdu</p>
<p>​               大小：从0到1000000一个表。例如1000001-2000000放一个表，每100万放一个表</p>
<p>​            HASH</p>
<p>​               用户ID取模</p>
<p>业务层改造</p>
<p>​     基于代理层方式：Mycat、Sharding-Proxy、MySQL Proxy</p>
<p>基于应用层方式：Sharding-jdbc</p>
<ul>
<li>分库后面临的问题</li>
</ul>
<p>​              事务问题：一次投递需要插入两条记录，且分布在不同的服务器上，数据需要保障一致性。</p>
<p>​             跨库跨表的join问题:</p>
<p>​               全局表（字典表）：基础数据/配置数据，所有库都拷贝一份</p>
<p>​              字段冗余：可以使用字段冗余就不用join查询了</p>
<p>​              系统层组装：可以在业务层分别查询出来，然后组装起来，逻辑较复杂额外的数据管理负担和数据运算压力：数 据库扩容、维护成本变高.</p>
<p><strong>ShardingSphere</strong></p>
<p>Apache ShardingSphere是一款开源的分布式数据库中间件组成的生态圈。它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（规划中）这3款相互独立的产品组成。 他们均提供标准化的数据</p>
<p> 分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的</p>
<p>应用场景。</p>
<p>Sharding-JDBC：被定位为轻量级Java框架，在Java的JDBC层提供的额外服务，以jar包形式使用。</p>
<p>Sharding-Proxy：被定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。</p>
<p>Sharding-Sidecar：被定位为Kubernetes或Mesos的云原生数据库代理，以DaemonSet的形式代理所有对数据库的访问。</p>
<p>​    </p>

      
    </div>
    <footer class="article-footer">
      <a data-url="http://codercheng.cn/2020/12/25/%E5%88%86%E5%BA%93%E5%88%86%E8%A1%A8%E5%AE%9E%E6%88%98%E5%8F%8A%E4%B8%AD%E9%97%B4%E4%BB%B6/" data-id="cko3snvxc001hi8uo6dvf6wj2" class="article-share-link">Share</a>
      
      
    </footer>
  </div>
  
    
<nav id="article-nav">
  
    <a href="/2020/12/25/%E9%9B%86%E7%BE%A4%E7%8E%AF%E5%A2%83/" id="article-nav-newer" class="article-nav-link-wrap">
      <strong class="article-nav-caption">Newer</strong>
      <div class="article-nav-title">
        
          集群环境
        
      </div>
    </a>
  
  
    <a href="/2020/12/18/linux%20%E4%BD%9C%E4%B8%9A%E9%A2%98/" id="article-nav-older" class="article-nav-link-wrap">
      <strong class="article-nav-caption">Older</strong>
      <div class="article-nav-title">linux 作业题</div>
    </a>
  
</nav>

  
</article>

</section>
        
          <aside id="sidebar">
  
    
  <div class="widget-wrap">
    <h3 class="widget-title">分类</h3>
    <div class="widget">
      <ul class="category-list"><li class="category-list-item"><a class="category-list-link" href="/categories/Java/">Java</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/MySql/">MySql</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/Netty/">Netty</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/SpringBoot/">SpringBoot</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/SpringCloud/">SpringCloud</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/SpringMVC/">SpringMVC</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/Tomcat/">Tomcat</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/Zookeeper/">Zookeeper</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/%E4%BD%9C%E4%B8%9A/">作业</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/%E5%88%86%E5%B8%83%E5%BC%8F%E8%B0%83%E5%BA%A6/">分布式调度</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/%E6%A1%86%E6%9E%B6/">框架</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/%E7%9F%A5%E8%AF%86/">知识</a></li><li class="category-list-item"><a class="category-list-link" href="/categories/%E8%AE%BE%E8%AE%A1%E6%A8%A1%E5%BC%8F/">设计模式</a></li></ul>
    </div>
  </div>


  
    

  
    
  
    
  <div class="widget-wrap">
    <h3 class="widget-title">归档</h3>
    <div class="widget">
      <ul class="archive-list"><li class="archive-list-item"><a class="archive-list-link" href="/archives/2024/08/">八月 2024</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2022/09/">九月 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2022/08/">八月 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2022/04/">四月 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2022/02/">二月 2022</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2021/11/">十一月 2021</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2021/06/">六月 2021</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2021/05/">五月 2021</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2021/04/">四月 2021</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2021/03/">三月 2021</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2021/02/">二月 2021</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2021/01/">一月 2021</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2020/12/">十二月 2020</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2020/11/">十一月 2020</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2020/10/">十月 2020</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2020/09/">九月 2020</a></li><li class="archive-list-item"><a class="archive-list-link" href="/archives/2020/08/">八月 2020</a></li></ul>
    </div>
  </div>


  
    
  <div class="widget-wrap">
    <h3 class="widget-title">最新文章</h3>
    <div class="widget">
      <ul>
        
          <li>
            <a href="/2024/08/28/CentOS%E5%86%85%E5%AD%98cpu%E6%8E%92%E6%9F%A5/">CentOS内存cpu排查</a>
          </li>
        
          <li>
            <a href="/2022/09/22/Linux%20%E6%9F%A5%E7%9C%8B%E6%97%A5%E5%BF%97%E5%91%BD%E4%BB%A4/">Linux 查看日志命令</a>
          </li>
        
          <li>
            <a href="/2022/08/30/dubbo%20%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98/">dubbo 常见问题</a>
          </li>
        
          <li>
            <a href="/2022/04/26/1%20%E6%BA%90%E7%A0%81%E7%AC%94%E8%AE%B0/">1 源码笔记</a>
          </li>
        
          <li>
            <a href="/2022/02/24/jvisualVM%20%E4%BD%BF%E7%94%A8%E7%AC%94%E8%AE%B0/">jvisualVM 使用笔记</a>
          </li>
        
      </ul>
    </div>
  </div>

  
</aside>
        
      </div>
      <footer id="footer">
  
  <div class="outer">
    <div id="footer-info" class="inner">
      &copy; 2024 CoderCheng<br>
      Powered by <a href="http://hexo.io/" target="_blank">Hexo</a>
    </div>
  </div>
</footer>
    </div>
    <nav id="mobile-nav">
  
    <a href="/" class="mobile-nav-link">Home</a>
  
    <a href="/archives" class="mobile-nav-link">Archives</a>
  
</nav>
    

<script src="//code.jquery.com/jquery-2.0.3.min.js"></script>


  
<link rel="stylesheet" href="/fancybox/jquery.fancybox.css">

  
<script src="/fancybox/jquery.fancybox.pack.js"></script>




<script src="/js/script.js"></script>




  </div>
</body>
</html>